ReuseGR: Offline--Online Decoupled Generative Retrieval via Adaptive Prefix Reuse
ReuseGR：自适应前缀复用解耦生成式检索
🧭 生成式检索 · 自适应前缀缓存 ★ 深度解读
Xidian University · Alibaba International Digital Commerce Group
7B离线规划共享SID前缀，0.5B在线个性化补全，以38.9%更低延迟达到与7B相当HR@100
📌 工作参考价值（4 点）
- 离线在线解耦的查询缓存：对高频 query，用大模型离线生成 SID 前缀，在线小模型仅完成剩余 token，平均延迟降低近 40%，适合电商搜索广告海量请求。
- ReuseCut 自适应深度选择：基于历史点击覆盖率用 Wilson 下限确定缓存深度，而非固定深度，可提升 HR@100 约 3.17 个百分点，可借鉴到 query 缓存策略。
- Path KD 路径级蒸馏：用 7B 教师的后缀 token 分布 KL 蒸馏 0.5B 学生，只训练 LoRA，提升在线补全质量且训练成本低。
- BudgetCut 分支选择：将 beam 搜索的分支选择建模为策略优化，用边际召回增益作为 OPD teacher 初始化，再用 GRPO 优化整组选择，比简单分数裁剪更有效，可直接用于生成式推荐的 beam pruning。